Độ tin cậy là gì? Các công bố khoa học về Độ tin cậy

Phân tích nội dung là một kỹ thuật nghiên cứu định tính được sử dụng rộng rãi. Thay vì là một phương pháp duy nhất, các ứng dụng hiện nay của phân tích nội dung cho thấy ba cách tiếp cận khác biệt: thông thường, có định hướng hoặc tổng hợp. Cả ba cách tiếp cận này đều được dùng để diễn giải ý nghĩa từ nội dung của dữ liệu văn bản và do đó, tuân theo hệ hình tự nhiên. Các khác biệt chính giữa các cách tiếp cận là các bộ mã hóa, nguồn gốc của mã hóa và mối đe dọa đến độ tin cậy. Trong phân tích nội dung thông thường, các danh mục mã hóa được lấy trực tiếp từ dữ liệu văn bản. Với một cách tiếp cận có định hướng, phân tích bắt đầu với một lý thuyết hoặc các kết quả nghiên cứu liên quan để làm cơ sở cho các mã ban đầu. Phân tích nội dung tổng hợp bao gồm việc đếm và so sánh, thường là các từ khóa hoặc nội dung, tiếp theo là diễn giải bối cảnh cơ bản. Các tác giả phân định các quy trình phân tích cụ thể cho từng cách tiếp cận và các kỹ thuật nhằm nâng cao độ tin cậy với các ví dụ giả định từ lĩnh vực chăm sóc cuối đời.

Trong bài báo này, một thang đo đánh giá Mania do bác sĩ quản lý với 11 mục (MRS) được giới thiệu, và độ tin cậy, giá trị và tính nhạy của nó được xem xét. Có sự tương quan cao giữa điểm số của hai bác sĩ độc lập trên cả điểm tổng (0.93) và điểm của từng mục (0.66 đến 0.92). Điểm MRS có sự tương quan cao với một đánh giá toàn cầu độc lập và với điểm số của hai thang đo đánh giá mania khác được thực hiện đồng thời. Điểm này cũng có sự tương quan với số ngày ở lại bệnh viện sau đó. Nó có khả năng phân biệt thống kê bệnh nhân trước và sau hai tuần điều trị và phân loại mức độ nghiêm trọng dựa trên đánh giá toàn cầu.

Đặt vấn đề:  Do những khó khăn phương pháp học cụ thể trong việc tiến hành các thử nghiệm ngẫu nhiên, nghiên cứu phẫu thuật chủ yếu phụ thuộc vào các nghiên cứu quan sát hoặc không ngẫu nhiên. Chỉ có một ít công cụ đã được xác thực để xác định chất lượng phương pháp luận của các nghiên cứu này, cả từ góc độ của người đọc lẫn nhằm mục đích tổng hợp phân tích. Mục tiêu của nghiên cứu hiện tại là phát triển và xác thực một công cụ như vậy.

Phương pháp:  Sau giai đoạn khái niệm ban đầu về một chỉ số phương pháp luận cho các nghiên cứu không ngẫu nhiên (MINORS), danh sách 12 mục tiềm năng đã được gửi đến 100 chuyên gia từ các chuyên khoa phẫu thuật khác nhau để đánh giá, và cũng được 10 chuyên gia về phương pháp lâm sàng đánh giá. Việc kiểm tra tiếp theo liên quan đến việc đánh giá mức độ đồng thuận giữa các người đánh giá, độ tin cậy của bài kiểm tra chéo tại 2 tháng, độ tin cậy nhất quán nội bộ và độ xác thực bên ngoài.

Các bằng chứng cho thấy người tiêu dùng thường do dự khi giao dịch với các nhà cung cấp trực tuyến do lo ngại về hành vi của nhà cung cấp hoặc cảm giác rủi ro khi thông tin cá nhân có thể bị kẻ xấu đánh cắp. Độ tin cậy đóng vai trò trung tâm trong việc giúp người tiêu dùng vượt qua những cảm nhận về rủi ro và sự bất an. Độ tin cậy giúp người tiêu dùng cảm thấy thoải mái khi chia sẻ thông tin cá nhân, thực hiện mua sắm, và hành động dựa trên các tư vấn từ nhà cung cấp trực tuyến - những hành vi cần thiết để thương mại điện tử được rộng rãi áp dụng. Do đó, độ tin cậy là yếu tố quan trọng đối với cả các nhà nghiên cứu và thực hành. Nghiên cứu trước đây về độ tin cậy trong thương mại điện tử đã sử dụng những định nghĩa đa dạng, không đầy đủ và không nhất quán về độ tin cậy, gây khó khăn trong việc so sánh kết quả giữa các nghiên cứu. Bài viết này đóng góp bằng cách đề xuất và xác thực các biện pháp cho một mô hình độ tin cậy đa ngành và đa chiều trong thương mại điện tử. Mô hình bao gồm bốn khái niệm cấp cao - xu hướng tin cậy, độ tin cậy dựa trên tổ chức, niềm tin tin cậy và ý định tin cậy - được phân chia thêm thành 16 yếu tố con có thể đo lường, dựa trên tài liệu. Các thuộc tính tâm lý học của các biện pháp được chứng minh thông qua việc sử dụng một trang web tư vấn pháp lý giả định. Kết quả cho thấy độ tin cậy thực sự là một khái niệm đa chiều. Các mối quan hệ được đề xuất giữa các khái niệm độ tin cậy được kiểm tra (để xác thực nội bộ) cũng như các mối quan hệ giữa các khái niệm độ tin cậy và ba khái niệm thương mại điện tử khác (để xác thực bên ngoài), bao gồm kinh nghiệm sử dụng web, sự đổi mới cá nhân và chất lượng trang web. Các đề xuất cho nghiên cứu trong tương lai cũng như ý nghĩa cho thực hành được thảo luận.

Mục đích. Bài báo này xem xét và minh họa việc sử dụng và diễn giải thống kê kappa trong nghiên cứu cơ xương khớp. Tóm tắt những điểm chính. Độ tin cậy của đánh giá từ các lâm sàng là một yếu tố quan trọng trong các lĩnh vực như chẩn đoán và diễn giải các phát hiện từ kiểm tra. Thường thì những đánh giá này nằm trên một thang đo danh nghĩa hoặc thứ bậc. Đối với những dữ liệu như vậy, hệ số kappa là một thước đo độ tin cậy thích hợp. Kappa được định nghĩa, cả dưới dạng có trọng số và không có trọng số, và việc sử dụng nó được minh họa bằng các ví dụ từ nghiên cứu cơ xương khớp. Các yếu tố có thể ảnh hưởng đến độ lớn của kappa (tần suất, thiên lệch và các đánh giá không độc lập) được thảo luận, và các cách đánh giá độ lớn của kappa thu được cũng được xem xét. Vấn đề kiểm tra thống kê kappa được xem xét, bao gồm việc sử dụng khoảng tin cậy, và kích thước mẫu thích hợp cho các nghiên cứu độ tin cậy sử dụng kappa cũng được trình bày trong bảng. Kết luận. Bài báo kết thúc với các khuyến nghị cho việc sử dụng và diễn giải kappa.

Phỏng vấn Thần kinh Tâm thần Quốc tế Mini (MINI) là một phỏng vấn chẩn đoán có cấu trúc ngắn gọn (DSI) được phát triển tại Pháp và Hoa Kỳ nhằm khám phá 17 rối loạn theo tiêu chí chẩn đoán của Sổ tay Chẩn đoán và Thống kê Các rối loạn Tâm thần (DSM)-III-R. Nó được cấu trúc hoàn toàn để cho phép các người phỏng vấn không chuyên thực hiện. Để giữ cho phỏng vấn ngắn gọn, MINI tập trung vào sự tồn tại của các rối loạn hiện tại. Đối với mỗi rối loạn, một hoặc hai câu hỏi sàng lọc loại bỏ chẩn đoán khi được trả lời một cách tiêu cực. Các câu hỏi về mức độ nghiêm trọng, tàn tật hoặc triệu chứng giải thích bằng y tế không được khám phá triệu chứng từng cái một. Hai tài liệu chung trình bày độ tin cậy giữa các người phỏng vấn và độ chính xác lại của MINI so với Phỏng vấn Chẩn đoán Quốc tế Tổng hợp (CIDI) (bài báo này) và Phỏng vấn Lâm sàng Có cấu trúc cho bệnh nhân DSM-III-R (SCID) (tài liệu chung). Ba trăm bốn mươi sáu bệnh nhân (296 tâm thần và 50 không tâm thần) đã được phỏng vấn bằng MINI và CIDI ‘tiêu chuẩn vàng’. Bốn mươi hai người được phỏng vấn bởi hai nhà điều tra và 42 người được phỏng vấn ngay sau đó trong vòng hai ngày. Các người phỏng vấn đã được đào tạo để sử dụng cả hai công cụ này. Thời gian trung bình của cuộc phỏng vấn là 21 phút với MINI và 92 phút cho các phần tương ứng của CIDI. Hệ số kappa, độ nhạy và độ đặc hiệu đều tốt hoặc rất tốt cho tất cả chẩn đoán ngoại trừ rối loạn lo âu tổng quát (GAD) (kappa = 0.36), lo âu không gian (độ nhạy = 0.59) và chứng ăn uống bulimia (kappa = 0.53). Độ tin cậy giữa các người chấm và độ chính xác lại đều tốt. Những lý do chính cho sự không đồng nhất đã được xác định. MINI đã cung cấp các chẩn đoán DSM-III-R đáng tin cậy trong một khoảng thời gian ngắn, và nghiên cứu cho phép cải tiến trong việc định hình cho GAD và lo âu không gian trong phiên bản DSM-IV hiện tại của MINI.

Nhóm công tác của Hiệp hội Rối loạn Vận động về các Thang đo đánh giá bệnh Parkinson (PD) đã chuẩn bị một đánh giá về thang đo Hoehn và Yahr (HY). Điểm mạnh của thang HY bao gồm việc sử dụng và chấp nhận rộng rãi. Các giai đoạn cao hơn tuần tự tương quan với các nghiên cứu hình ảnh thần kinh về sự mất đi của dopaminergic, và có sự tương quan cao giữa thang HY và một số thang đo tiêu chuẩn về suy giảm vận động, khuyết tật và chất lượng cuộc sống. Điểm yếu bao gồm việc thang đo này trộn lẫn giữa suy giảm và khuyết tật và tính phi tuyến của nó. Bởi vì thang HY nặng về sự không ổn định ở tư thế như chỉ số chính về mức độ nghiêm trọng của bệnh, nó không hoàn toàn nắm bắt được các suy giảm hoặc khuyết tật từ các đặc điểm vận động khác của PD và không cung cấp thông tin về các vấn đề phi vận động. Kiểm tra clinimetric trực tiếp của thang HY đã rất hạn chế, nhưng thang này ít nhất đáp ứng một số tiêu chí về độ tin cậy và tính hợp lệ, đặc biệt là cho các mức giữa của thang (Giai đoạn 2–4). Mặc dù có một “thang HY sửa đổi” với các mức 0.5 đã được áp dụng rộng rãi, không có dữ liệu clinimetric nào có sẵn về sự điều chỉnh này. Nhóm Công tác khuyến nghị rằng: (1) thang HY nên được sử dụng ở dạng nguyên bản cho việc trình bày nhân khẩu học của các nhóm bệnh nhân; (2) khi thang HY được sử dụng để mô tả nhóm, nên báo cáo các giá trị trung bình và khoảng giá trị, và phân tích những thay đổi nên sử dụng các phương pháp phi tham số; (3) trong các môi trường nghiên cứu, thang HY chủ yếu hữu ích trong việc xác định tiêu chí bao gồm/loại trừ; (4) để giữ đơn giản, các bác sĩ lâm sàng nên “đánh giá những gì bạn thấy” và do đó kết hợp các bệnh đi kèm khi phân loại giai đoạn HY; và (5) do việc sử dụng rộng rãi thang HY sửa đổi với các mức 0.5, sự điều chỉnh này đòi hỏi phải kiểm tra clinimetric. Tuy nhiên, nếu không có kiểu thử nghiệm như vậy, các thang đo năm điểm nguyên bản nên được duy trì. © 2004 Hiệp hội Rối loạn Vận động

Các ước lượng độ tin cậy intraclass dựa trên giả định rằng các phép đo khác nhau là tương đương. Mô hình tổng quát của Jöreskog (1970) cho phân tích cấu trúc hiệp phương sai có thể được sử dụng để kiểm tra tính hợp lệ của giả định này.

Năm 1997, nhận thấy rằng kỷ niệm 50 năm công bố bài báo "Hệ Số Alpha và Cấu Trúc Nội Tại Của Các Bài Kiểm Tra" đang đến gần, Lee Cronbach đã lên kế hoạch cho những ghi chú mà giờ đây đã được công bố ở đây. Mục đích của ông là chỉ ra những cách mà quan điểm của ông về hệ số alpha đã phát triển, hiện tại ông nghi ngờ rằng hệ số này là cách tốt nhất để đánh giá độ tin cậy của một công cụ mà nó được áp dụng. Trong những ghi chú này, với phong cách cổ điển của Cronbach, ông đã lần theo suy nghĩ của mình trước, trong và sau khi công bố bài báo về hệ số alpha; những "suy nghĩ hiện tại" của ông về hệ số alpha là rằng alpha chỉ bao trùm một góc nhìn nhỏ trong phạm vi ứng dụng đo lường mà thông tin về độ tin cậy là cần thiết và rằng nó nên được xem xét trong một hệ thống phân tích độ tin cậy lớn hơn nhiều, lý thuyết khả năng tổng quát.

Tóm tắt: Mục tiêu– Để kiểm tra độ tin cậy của hệ thống chấm điểm chỉ số phạm vi và mức độ nghiêm trọng của eczema (EASI) bằng cách đánh giá tính nhất quán giữa và trong các người đánh giá. Thiết kế: Đào tạo các người đánh giá, áp dụng và đánh giá trong 2 ngày liên tiếp. Địa điểm– Một trung tâm học thuật. Bệnh nhân– Hai mươi người lớn và trẻ em mắc bệnh viêm da cơ địa (AD); nhóm 1 (10 bệnh nhân ≥8 tuổi) và nhóm 2 (10 bệnh nhân <8 tuổi). Can thiệp– Không có. Biện pháp kết quả chính– EASI được 15 người đánh giá da liễu sử dụng để đánh giá bệnh viêm da cơ địa ở nhóm 1 và nhóm 2 trong 2 ngày liên tiếp. Độ tin cậy giữa và trong các người đánh giá đã được phân tích. Kết quả– Độ tin cậy tổng thể giữa các người đánh giá về EASI ở mức trung bình đến tốt. Phân tích độ tin cậy giữa các người đánh giá cho thấy các người đánh giá đã đánh giá bệnh nhân một cách nhất quán trong cả hai ngày nghiên cứu. Kết luận– Nghiên cứu này đã chứng minh rằng EASI có thể được học nhanh chóng và sử dụng một cách tin cậy trong việc đánh giá mức độ nghiêm trọng và phạm vi của AD. Có tính nhất quán giữa các người đánh giá giữa các ngày đánh giá liên tiếp. Những kết quả này hỗ trợ việc sử dụng EASI trong các thử nghiệm lâm sàng về các tác nhân điều trị cho AD.